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Байєсівські мережі 
в технологіях інтелектуального аналізу даних 


У статті запропонований огляд методів побудови (навчання) структури мереж Байєса. Показано, що 
на сьогодні існує безліч методів структурного навчання МБ та критеріїв оптимізації, які можна 
використати при їх побудові. Тому вибір методу навчання структури мережі повинен грунтуватись на 
докладному поглибленому аналізі задачі, яка розв'язується за допомогою мережі, та можливості 
отримання достовірних експертних і статистичних даних. 


1 Інтелектуальний аналіз даних 


Об'єм інформації у світі з кожним роком стрімко збільшується, відбувається 
перевантаження інформацією. Ця інформаційна лавина надходить з науки, бізнесу, 
Інтернету та інших джерел. Ускладнюється робота аналітика, який повинен проаналі- 
зувати великі масиви інформації при розв'язуванні поставленої задачі. Він розв'язує 
її, виходячи зі своїх знань і досвіду. Але знання є не лише у людини, вони містяться 
також у накопичених даних, які необхідно аналізувати. Такі знання часто називають 
«прихованими», оскільки вони вимагають для зберігання гігабайтів і терабайтів ін- 
формації, які людина не в змозі дослідити самостійно. 

Очевидно, що для виявлення прихованих знань потрібно застосовувати спеці- 
альні методи автоматичного аналізу даних, за допомогою яких доводиться добувати 
знання із величезного об'єму інформації. «Через велику кількість інформації дуже 
мала її частина буде коли-небудь побачена людським оком. Наша єдина надія - зро- 
зуміти та знайти щось корисне у цьому океані інформації - це широке застосування 
методів Рака Міпіпо», - відзначив один із засновників цього напряму Григорій 
П'ятецький- Шапіро (Стебогу РіатїеїзКку-УПаріго) (11 |. 

Існують різні означення Раїа Міпіпе. Але вони збігаються у головному, оскільки 
мають чотири основні ознаки, які наявні у кращому означенні технології Рака 
Міпіпє, запропонованому у 1996 р. Г. П'ятецьким-Шапіро: «Рака Міпіпє - дослід- 
ження та виявлення "машиною?" (алгоритмами, засобами штучного інтелекту) в си- 
рих даних прихованих, раніше невідомих, нетривіальних, практично корисних та до- 
ступних для інтерпретації людиною знань, необхідних для прийняття рішень у 
різних сферах людської діяльності» (2. 

Суть 1 ціль технології Рака Міпіпе полягає у пошуку неочевидних, об'єктивних 
і корисних на практиці закономірностей у великих обсягах даних. В основу сучасної 
технології Дага Міпіпє покладена концепція шаблонів (патернів), які відображають 
фрагменти багатоаспектних взаємовідносин в даних. Ці фрагменти представляють 
собою закономірності, властиві підвибіркам даних, які можуть бути компактно вира- 
жені у зрозумілій людині формі. Пошук шаблонів здійснюється методами, не обме- 
женими рамками апріорних припущень стосовно структури вибірки та виду розпо- 
ділу значень змінних, що аналізуються. 
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Поняття Раїа Міпіпе з'явилося у 1989 році, але високу популярність у сучас- 
ному трактуванні набуло приблизно у першій половині 1990-х років. Рака Міпіпе 
широко використовується у багатьох галузях, для яких характерне використання ве- 
ликих об'ємів даних: в науці, торгівлі, телекомунікаційній сфері, банківський справі, 
промисловому виробництві та інших галузях, де виникає задача автоматичного 
аналізу даних і прийняття рішень на його основі. Завдяки мережі Інтернет Рака Мі- 
піпе використовується кожний день користувачами пошукових систем на просторах 
Інтернету. 

Даїа Міпіпе лежить на перетині декількох наук, основні з яких - це системи баз 
даних, статистика та штучний інтелект. До методів та алгоритмів РДаїа Міпіпє 
відносять такі: штучні нейронні мережі, дерева рішень, символьні правила, методи 
найближчого сусіда і К -найближчого сусіда, метод опорних векторів, байєсівські 
мережі, лінійну регресію, кореляційно-регресійний аналіз; ієрархічні методи кластер- 
ного аналізу, неїєрархічні методи кластерного аналізу, у тому числі алгоритми ХК -се- 
редніх 1 К -медіани; методи пошуку асоціативних правил, наприклад, алгоритм Аргіогі; 
метод обмеженого перебору, еволюційне програмування 1 генетичні алгоритми, різ- 
номанітні методи візуалізації даних та інші методи. 

До задач Рака Міпіпє відносять: класифікацію, кластеризацію, асоціацію, послі- 
довну асоціацію або просто послідовність, прогнозування, визначення відхилень або 
викидів, оцінювання параметрів 1 станів, аналіз зв'язків, візуалізацію, підбиття під- 
сумків. 


2 Байєсівська мережа - інструмент 
інтелектуального аналізу даних 


Інтелектуальний аналіз даних (ТАД) - мультидисциплінарна область, що ви- 
никла та розвивається на базі таких наук, як прикладна статистика, розпізнавання 
образів, штучний інтелект, теорія баз даних та ін. (рис. 1). 


Теорія БД Алгоритмізація Статистика 
Машинне ІАД : пи 
го Я «3-1 Візуалізація 
навчання (Чака тіпіпя) 
Штучний | Розпізнавання 
інтелект Інші дисципліни образів 


Рисунок І - ТАД як мультидисциплінарна область 


Перед використанням технологій ІАД необхідно ретельно проаналізувати мож- 
ливі проблеми, обмеження та критичні питання, які зв'язані з нею, а також зрозуміти 
те, чого ця технологія не може дати. Очевидно, що технологія ТАД не може дати 
відповіді на ті питання, які не були задані. Вона не може замінити аналітика, а всьо- 
го лише дає йому потужний інструмент для полегшення і підвищення якості його 
роботи. 
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Оскільки технологія ТЇАД - мультидисциплінарна область, то для розробки 
програмного забезпечення, що включає ІАД, необхідно задіяти фахівців з різних 
галузей, а також забезпечити їх високоякісну взаємодію. Неможливо видобувати 
корисну інформацію без розуміння суті даних. Використання ІАД має бути нероз- 
ривно пов'язаним із підвищенням кваліфікації користувача. Більшість інструментів 
інтелектуального аналізу даних грунтується на двох технологіях: машинне навчання 
(пасбіпе Іеагпіпо) 1 візуалізація (візуальне подання інформації). Ці дві технології 
якраз і поєднують у собі байєсівські мережі (БМ). Це відносно молодий напрям роз- 
витку науки, що з'явився на стику теорії ймовірностей і теорії графів (рис. 2). 

БМ - це графи із деякими характерними властивостями. Ідея впровадження БМ 
полягає у представленні причинно-наслідкових зв'язків, характерних для процесу у 
вигляді графа. 


Теорія ймовірностей Теорія графів 


БУРЯ 


Байєсівські мережі (БМ) 


Рисунок 2 - БМ на стику двох наук 


Томас Байєс одним з перших зацікавився ймовірністю настання подій у май- 
бутньому, грунтуючись на інформації про минулі випробування. Саме теорема Байєса 
пов'язує апріорні та апостеріорні ймовірності причин після спостереження за наслід- 
ками. До впровадження терміна «байєсівська мережа» Джуді Перл застосовував БМ 
під назвою каузальних мереж (сайзаї пебуогК), тобто мережі з причинно-наслідкови- 
ми зв'язками. Байєсівськими вони стали завдяки застосуванню в каузальних мережах 
теореми Байєса. 

Теорема Байєса. Нехай Н,, Н,,.., Н, - попарно несумісні події 1 їх сума збіга- 
ється з усім вибірковим простором подій. Тоді для будь-якої випадкової події Х, що 
може з'явитися лише за умови появи однієї з подій Н., Н.,..., Н,, і такої, що 


п? 


Р(Х) є 0, виконуються рівності: 


ор ато РІХ|Н,) Рр(Н,) | кеїнп 1 
я нувеРОг і Ф 


В (1) Н, означає будь-яку гіпотезу з п можливих. Ймовірності р(Х |Н,) за- 
даються експертами апріорно або розраховуються за навчальними даним. Тобто їх 
можна розглядати як відповідь на запитання: «Якою буде ймовірність деякого ви- 
міру, якщо відомо, яка гіпотеза була реалізована?». Ймовірності р(Х |Н,) є дуже 
корисними, тому що, як правило, легше знайти ймовірність послідовності подій типу 
причина-наслідок, ніж навпаки. Значення р(Н,) називають апріорними ймовірнос- 
тями, вони визначають початкові ймовірності для всіх гіпотез. Потужність байєсів- 
ського методу полягає у тому, що апріорні ймовірності можна уточнювати (оновлю- 
вати) відповідно до фактичних реалій перебігу процесу, що досліджується. Це дозво- 
ляє уточнювати ймовірності подій при надходженні додаткової інформації. 
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2.1 Переваги застосування байєсівських мереж 


У рамках технології ТАД головна цінність БМ полягає у їх здатності виявляти 
невідомі та нетривіальні зв'язки між факторами, про які іноді самі експерти у відпо- 
відній предметній області не мають уявлення. Байєсівські мережі знаходять своє прак- 
тичне застосування у таких сферах, як медицина, фінанси та економіка, комп'ютери 1 
системне програмне забезпечення, обробка зображень та відео, військова справа, кос- 
мічні польоти та дослідження, а також багато інших. 

На відміну від інших методів ІАД, застосування байєсівських мереж до аналізу 
процесів різної природи, діяльності людини та функціонування технічних систем 
дозволяє враховувати та використовувати будь-які вхідні дані у вигляді експертних 
оцінок і статистичної інформації. У свою чергу, змінні можуть бути дискретними 1 
неперервними, а характер їх надходження при аналізі та прийнятті рішення може 
бути в режимі реального часу 1 у вигляді статичних масивів інформації і баз даних. 
При цьому завдяки використанню представлення взаємодії між факторами процесу у 
вигляді причинно-наслідкових зв'язків у мережі досягається максимально високий 
рівень візуалізації та чітке розуміння суті взаємодії факторів процесу між собою. 
Іншими перевагами БМ є можливості врахування невизначеностей статистичного, 
структурного і параметричного характеру, а також формування висновку за допомо- 
гою різних методів - наближених і точних. Загалом можна сказати, що БМ - це 
високоресурсний метод ймовірнісного моделювання процесів довільної природи з не- 
визначеностями різних типів, який забезпечує можливість достатньо точно опису- 
вати їх функціонування, оцінювати прогнози та будувати системи управління. 


2.2 Математичний опис байєсівської мережі 


БМ представляє собою пару «С,В», у якій перша компонента С - це спря- 
мований нециклічний граф, що відповідає змінним процесу, що досліджується, і 
записується у вигляді причинно-наслідкової мережі. Друга компонента пари В - це 
множина параметрів, що визначають мережу. Ця компонента містить параметри 


(2 


е ро ра(х9)) для кожного можливого значення х'' є Х? та ра(Х?) є 


х9ра| хо? 


є РА(Х'?), де Ра(х)) позначає набір батьків змінної Х"? є С. Кожній змінній Х" є С 
відповідає окрема вершина. Якщо розглядають більше одного графа, то для визна- 
чення батьків змінної Х'? в графі С використовують позначення Ра" (Х)). Повна 
спільна ймовірність БМ обчислюється за формулою: 


М і і 
со ато о й а |ра(Х! 7). 


З математичної точки зору БМ - це модель подання наявних і відсутніх ймо- 
вірнісних залежностей. При цьому зв'язок 4-» В є причинним, якщо подія А є при- 
чиною виникнення В, тобто коли існує механізм, відповідно до якого значення, 
прийняте 4, впливає на значення, прийняте В. БМ називають причинною (каузаль- 
ною), якщо всі її зв'язки причинні. 

Насправді байєсівська методологія набагато ширша, ніж сімейство засобів 
маніпулювання з умовними ймовірностями в орієнтованих графах. Вона включає в 
себе також моделі із симетричними зв'язками (випадкові поля та решітки), моделі 
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динамічних процесів (ланцюги Маркова), а також широкий клас моделей із прихова- 
ними змінними, що дозволяють вирішувати задачі ймовірнісної класифікації, роз- 
пізнавання образів та прогнозування. Нові галузі застосування такі: (1) динамічні 
процеси і динамічне програмування; (2) оптимальне керування стохастичними сис- 
темами; (3) прийняття рішень в автономних інтелектуальних системах. 


2.3 Типи байєсівських мереж 


1. Дискретні БМ - мережі, у яких змінні вузлів представлені дискретними ве- 
личинами. Дискретні БМ мають такі властивості: 

- кожна вершина представляє собою подію, що описується випадковою вели- 
чиною, яка може мати кілька станів; 

- всі вершини, пов'язані з «батьківськими», визначаються таблицею умовних 
ймовірностей (ТУЙ) або функцією умовних ймовірностей; 

- для вершин без «батьків» ймовірності їх станів є безумовними (маргіналь- 
ними). 

Інакше кажучи, у байєсівських мережах довіри вершини представляють собою 
випадкові змінні, а дуги - ймовірнісні залежності, які визначаються через таблиці 
умовних ймовірностей. ТУЙ кожної вершини містить ймовірності станів цієї вер- 
шини за умови конкретних значень станів її «батьків». 

2. Динамічні БМ - мережі, у яких значення вузлів змінюються з часом, тобто це 
мережа, яка описує стани динамічної системи. 

Динамічні БМ ідеально підходять для моделювання процесів, які змінюються у 
часі. Їх перевага полягає у тому, що вони використовують табличне представлення 
умовних ймовірностей, що полегшує, наприклад, представлення різних нелінійних 
явищ. Треба підкреслити, що термін «часова байєсівська мережа» (гетрога! Вауезбіап 
пебуогК) краще відображає суть, ніж «динамічна байєсівська мережа» (даупатіс 
Вауевіап пеїуогК), оскільки тут передбачається, що структура моделі не змінюється. 
Зазвичай параметри моделі не змінюються з часом, але до структури мережі завжди 
можна додати додаткові приховані вузли для уточнення опису поточного стану про- 
цесу. 

3. Неперервні БМ - мережі, в яких змінні вузлів - це неперервні величини. 
У багатьох випадках події можуть приймати будь-які стани з деякого діапазону. 
Тобто змінна Х - неперервна випадкова величина, простором можливих станів якої 


є весь діапазон її допустимих значень Х з | ха хе ) , що містить нескінченну мно- 


жину точок. У цьому випадку некоректно говорити про ймовірності окремого стану, 
тому що при їх нескінченно великій кількості вага кожного буде наближатись до 
нуля. Тому розподіл ймовірностей для неперервної випадкової величини визначається 
інакше, ніж у дискретному випадку; для їх опису використовують функції розподілу 
ймовірностей і щільності розподілу ймовірностей. Неперервні БМ використовують 
для моделювання стохастичних процесів у просторі станів з неперервним часом. 

4. Гібридні БМ - мережі, які містять вузли з дискретними і неперервними 
змінними. При використанні БМ, що містять неперервні 1 дискретні змінні, існує ряд 
обмежень: 

1 - дискретні змінні не можуть мати неперервних батьків; 

2 - неперервні змінні повинні мати нормальний закон розподілу, умовний на 
значеннях батьків; 
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3 - розподіл неперервної змінної Х з дискретними батьками Ї та неперервни- 
ми батьками 2 є нормальним: 


РИХ |У є у, 2 з 2)8 Мам) С/с,)); 


де шо,» Й, - математичні сподівання, с,,с, - дисперсії, 0,40, - Середньоквад- 
ратичні відхилення; //, лінійно залежить від неперервних батьків, а с, взагалі не за- 
лежить від неперервних батьків. Однак и, та с, залежать від дискретних батьків. 


Це обмеження гарантує можливість формування точного висновку. 


3 Методи оцінювання структури байєсівських мереж 


Більшість існуючих методів оцінювання (побудови) структури БМ можна умов- 
но розділити на дві категорії: (1) на основі оціночних функцій (зеагесб 82 8согіпе) та (2) 
на основі тесту на умовну незалежність (дерепдепсу апаїузбіз). Більшість із існую- 
чих методів зустрічаються з такими проблемами: 

1. Наявність упорядкованої множини вершин (УМВ). У більшості методів, особ- 
ливо розроблених раніше, вважається, що УМВ задана, але при обробці реальних 
даних це дуже часто не відповідає дійсності. 

2. Низька обчислювальна ефективність. Деякі сучасні методи працюють без ви- 
користання УМВ, а замість неї використовують тест на умовну незалежність (ТУН). 
Однак в цьому випадку необхідно виконати експоненціальну кількість таких тестів, 
що призводить до зменшення ефективності роботи методу у зв'язку із значним зро- 
станням об'єму обчислень. 

3. Проблема побудови великих БМ. Існують методи, за допомогою яких можна 
побудувати структуру БМ з декількома сотнями вершин, використовуючи навчальну 
вибірку з мільйонів записів. До таких методів відносяться Теїгадй П |3| та Зорі.еа |41. 


3.1 Методи на основі оціночних функцій 


Для побудови БМ у вигляді дерева Чу і Ліу (Сром апа Ши) в 1968 році запро- 
понували алгоритм, що грунтується на використанні значень взаємної інформації 
між вершинами. Як рішення метод видає структуру із значенням спільного роз- 
поділу ймовірностей мережі, яке найбільше відповідає навчальним даним. Побудова 
структури БМ здійснюється за О(М") кроків, де М - кількість вершин мережі. Од- 
нак цей алгоритм не працює для багатозв'язаних БМ. 

У 1938 році Рібан 1 Перл (Вебапе апа Реагі) запропонували удосконалений мо- 
дифікований алгоритм Чу 1 Ліу для побудови БМ у вигляді полідерева. Купер 1 
Гершкович (Соорег апа Негя5Комуїіїз) в 1990 році розробили алгоритм Кутато (Киїаго). 
На етапі ініціалізації алгоритму вважається, що всі вершини БМ незалежні; після 
цього обчислюється ентропія цієї мережі. Потім виконується додавання дуг між 
вершинами у мережі таким чином, щоб мінімізувати ентропію БМ. Для роботи алго- 
ритму потрібна наявність УМВ. 

Купер і Гершкович в 1992 році запропонували широко відомий алгоритм К2, 
який виконує пошук структури з максимальним значенням функції Купера-Гершко- 
вича (КГ). Для роботи алгоритму потрібна наявність УМВ. В 1994 році запропоно- 
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вано алгоритм НСС. Цей алгоритм суттєво відрізняється від інших (що грунтуються 
на оціночних функціях) тим, що вперше саме в ньому були використані два нових 
поняття: (1) параметричної модульності (рагатеїгіс плодціагісу) та (2) рівнозначності 
подій (еуепі едиіуаіепсе). Інші дослідники досить довго не використовували одночасно 
цих понять. Але одночасне застосування цих понять дозволяє об'єднувати статис- 
тичну інформацію та експертні знання для побудові БМ. 

Вонг 1 Ксіанг (М/опе апа Хіапо) запропонували в 1994 році алгоритм для побу- 
дови Марковських мереж з використанням значення ентропії та І-тар. Граф С ймо- 
вірнісної моделі М називають незалежною картою (іпдерепдаепсу тар, скорочено 
І-тар), якщо з незалежності вершин графа С випливає незалежність моделі М . Цей 
алгоритм дозволяє представити процес, який моделюється, у вигляді І-тар, і у ви- 
падку, коли мережа є однозв'язною, гарантовано будується БМ. Разом із Чу (СРи) 
Ксіанг розробив у 1997 році більш швидкодіючий варіант запропонованого алгоритму. 

Алгоритм Лема-Бахуса (ТІ ат-Вассрпи5), запропонований в 1996 році, виконує 
евристичну побудову структури мережі, використовуючи значення взаємної інфор- 
мації між вершинами, а як оціночна функція використовується функція опису міні- 
мальною довжиною (таїпітит дез8сгірноп Іепеїр). 

Алгоритм Бенедикта (Вепедісі), запропонований в 1996 році, виконує еврис- 
тичний пошук на основі УМВ, аналізуючи умовні незалежності в структурі мережі 
на основі а-розділення, а як функція оцінки використовується ентропія. 

СВ алгоритм запропоновано в 1995 році. Він використовує ТУН між верши- 
нами мережі, для побудови ВМВ. Для побудови структури мережі використовується 
функція КГ. 

Алгоритм Фрідмана-Голдшмідта (Етіедтап-Соідзгпидй) запропонований в 1996 ро- 
ці. Для побудови мережі використається аналіз її локальних підструктур, а як оці- 
ночна функція використовується функція опису мінімальною довжиною (ОМД) та 
оцінка Байєса. 

В алгоритмі УУКР, запропонованому в 1996 році, за оціночну функцію при 
побудові мережі використано функцію повідомлення мінімальної довжини (паїпі- 
пашт тезбаре ІепеП), яка схожа на ОМД. 

Алгоритм Сузукі (5и2иКі), запропоновано у 1999 році, заснований на методі гі- 
лок та границь для задавання послідовності побудови структури мережі, а як оціноч- 
на функція використовується ОМД. 

Також існує множина різноманітних поглинаючих алгоритмів (огееду аісо- 
гійт), в яких для оцінювання можна використовувати різноманітні функції, наприк- 
лад максимальної правдоподібності або байєсівський інформаційний критерій. 


3.2 Методи на основі використання тестів 
на умовну незалежність 


У 1983 році Вермут 1 Лоуренс (У/егтий апа І айгіїгеп) запропонували алгоритм 
для побудови структури БМ, застосовуючи ТУН. Цей алгоритм виконує послідовний 


перебір УМВ. Для кожної пари вершин Х; та Х,, таких, що Х, « Х (тобто Х - 
це предок для Х,), виконується обчислення значення умовної незалежності. Цей 


алгоритм гарантує побудову БМ за навчальними даними, але при цьому потрібно 
обчислити велику кількість ТУН між вершинами, що можливо лише у випадку, коли 
мережа складається з невеликої кількості вершин. 
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У 1988 році Перл (Реагі) запропонував алгоритм побудови скінченного спря- 
мованого ациклічного графа (Ббоппдагу РАС аісогіїбт). Цей алгоритм будує БМ, 
маючи ВМВ та функцію спільного розподілу (або достатньо велику навчальну вибір- 
ку даних). Разом із будь-яким, не досить складним, методом пошуку цей алгоритм 
позбавлений проблеми, яка полягає у необхідності розрахунку великої кількості 
тестів на умовну незалежність, застосовуючи алгоритм Вермута і Лоуренса. Однак 
необхідність обчислення великої кількості ТУН виникає при застосуванні цього 
алгоритму для побудови марковських мереж, тобто мереж із прихованими вузлами. 

У 1990 році запропоновано ЗКА алгоритм, який є модифікацією алгоритму скін- 
ченого спрямованого ациклічного графа. Цей алгоритм висуває менш жорсткі вимоги 
до упорядкування множини вершин. Для побудови БМ достатньо мати частково упо- 
рядковану множину вершин та ще деякі обмеження. Побудова БМ виконується 
послідовним додаванням дуг між вершинами з використанням евристичного по- 
шуку. Але алгоритм виконує експоненціальну кількість розрахунків тестів на умовну 
незалежність. 

Алгоритм «Конструктор» (соп5ігисіог аїєогіїрт) запропоновано у 1990 році. Він 
дуже схожий на алгоритм побудови скінченого спрямованого ациклічного графа. 
Замість БМ виконується спроба побудувати марковську мережу. Відмінність цього 
методу від інших, які використовують ТУН, полягає у тому, що він не виконує 
надлишкові тести на умовну незалежність 1 йому не потрібна упорядкована множина 
вершин. 

Алгоритму 5С5, запропонованому у 1990 році, для побудови структури не пот- 
рібна наявність УМВ, але замість неї йому доводиться виконувати експоненціальну 
кількість тестів на умовну незалежність між вершинами. 

РС алгоритм, розроблений в 1991 році, представляє собою удосконалений ва- 
ріант 5С5 алгоритму. Цей алгоритм розроблено спеціально для побудови розрід- 
жених (5раг5е) БМ, тобто для мереж із невеликою кількістю дуг між вершинами. 
Алгоритм КРОВ, запропонований у 1996 році, для визначення напряму побудови 
мережі використовує значення взаємних ймовірностей. За оціночну функцію вико- 
ристовується функціонал, що мінімізує значення мережі. Алгоритм ЕВС (їі Вауевіап 
пебуогК), запропонований в 2006 році, представляє собою удосконалений алгоритм 
КОВ, який як функцію оцінки при побудові мережі використовує функцію сумарних 
значень ЗВІ вершин. 


3.3 Інші методи 


Не завжди побудована структура БМ однозначно відповідає процесу, який 
моделюється. Інколи це пов'язано з неповнотою даних спостережень або недостат- 
ньою визначеністю предметної області. Замість побудови однієї найкращої струк- 
тури БМ деякі алгоритми як результат видають кілька мережних структур. 

Іноді дослідник може не мати всієї інформації про процес, який моделюється, 
тобто деякі змінні, які впливають на процес, відсутні. Їх називають прихованими 
змінними (ріддеп уагіабіе5) або латентними змінними (ІПагепі уагіабіез8). Існують алго- 
ритми евристичного пошуку |5|, 61, які намагаються враховувати такі приховані 
змінні при моделюванні. 

Для випадку, коли навчальні дані неповні або частина з них невірна (плі55іпеє 
Чака), запропоновано декілька алгоритмів стиснення границь (Боппа апа соПарбе) та 
група алгоритмів, які використовують значення максимального математичного 
очікування (ехресіайоп птахітігайоп, або скорочено ЕМ). 
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Метод стиснення границь |7| моделює відсутність даних, припускаючи, що 
ймовірність відсутніх даних приймає значення в інтервалі від 0 до 1, тобто викону- 
ється аналіз цього інтервалу на відсутність даних за наявною інформацією. Після 
цього виконується стиснення границь інтервалу в точку шляхом використання опук- 
лої комбінації з точок екстремумів, використовуючи інформацію про неповні дані. 

Алгоритм максимізації математичного очікування був запропонований у 1977 
році в |8|. Алгоритм намагається знайти локальні оптимальні оцінки максимальної 
правдоподібності параметрів. Головна ідея алгоритму полягає у тому, що за наявності 
значень усіх вузлів, навчання (на кроці М ) буде простим, оскільки наявна вся необ- 
хідна інформація. Тому на кроці Е виконується обчислення значення очікуваної 
правдоподібності (ехресіайоп ої пкенфоод), включаючи латентні змінні, так ніби 
вони спостерігались. На кроці М робиться обчислення значення максимальної прав- 
доподібності параметрів, використовуючи максимізацію значень очікуваної правдо- 
подібності отриманих на кроці Є. Далі алгоритм знову виконує крок Е з викори- 
станням параметрів, отриманих на кроці М, і так далі. 

На основі алгоритму максимізації математичного очікування розроблено серію 
подібних алгоритмів |91, 10. Так, наприклад, структурний алгоритм максимізації 
математичного очікування поєднує у собі стандартний алгоритм максимізації мате- 
матичного очікування, що оптимізує параметри, та алгоритм структурного пошуку 
моделі відбору. Цей алгоритм будує мережі, грунтуючись на штрафних ймовірнісних 
значеннях, які включають значення, отримані за допомогою байєсівського інформа- 
ційного критерію, принципу мінімальної довжини опису, а також значення інших 
критеріїв. 


Висновки 


Виконано огляд методів побудови (навчання) структури мереж Байєса. Пока- 
зано, що на сьогодні існує множина методів структурного навчання МБ та критеріїв 
оптимізації, які можна використати при їх побудові. Наявність великої кількості 
методів формування структури МБ свідчить про те, що існують проблеми стосовно 
розв'язання цієї задачі, які неможливо розв'язати за допомогою одного-двох методів. 
Це проблеми, пов'язані із високою розмірністю задач, наявністю змінних різних 
типів та вимогами до якості результату - імовірнісного висновку. Тому вибір методу 
навчання структури мережі повинен грунтуватись на докладному поглибленому 
аналізі задачі, яка розв'язується за допомогою мережі, та можливості отримання 
достовірних експертних і статистичних даних. Враховуючи можливу неоднознач- 
ність отриманого розв'язку, структуру мережі необхідно будувати за двома-трьома 
альтернативними методами і вибрати потім кращий розв'язок. 

У майбутніх дослідженнях доцільно автоматизувати процес побудови струк- 
тури мережі за деякою множиною альтернативних методів при розбитті загальної 
вибірки на навчальну та валідаційні набори даних, включаючи вибір кращої зі струк- 
тур за критеріями структурної різниці або перехресної ентропії. Це дасть можливість 
уникнути можливої неоднозначності вибору. 
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П.И. Бидюк, А.Н. Терентьев, М.М. Коновалюк 

Байесовскиєе сети в технологиях интеллектуального анализа данньтх 

Предложен обзор методов построения (обучения) структурьт сетей Байеса (СБ). Показано, что на сегодня 
существует множество методов структурного обучения СБ и критериев оптимизации, которьте можно 
использовать при их построений. Позтому вьбор метода обучения структурьт сети должен базироваться на 
углубленном анализе задачи, которая решаєтся с помощью сети, и возможности получения достоверньтх 
зкспертньгх и статистических данньтх. 


Р.І. Відуик, О.М. Тегетуєу, М.М. Копоуаїуик 

Вауезіап пебууогК5 іп гесплоїобієе5 ої іпеЙесіпа! дага апаїузіз 

А теміему 15 ргорозед ої 58ігисіига! Іеагпіпе, бог Вауезіап пебмогк5 (ВМ). П 15 5пом/п (Бай (одау ехі515 а млдє 
8еї ої 5ігасїига! Ісагпіпє пеїподз5 бог ВМ а5 меїї а5 орітігайоп сгіїегіа Бас соцід Бе п5еа Бог Івагаітя. Тра! 
15 мПу Ше 5еЇесбіоп ої а Ісгагаіпе птеїпод 5Поцід Бе Базед оп ргоїоцла апаіузіз ої Бе ргобіет їо Бе 50Їмей 
бу ВМ апа Фе роз51БШіу ої обіаїпіпе іиїрійці ехрегі апа зіайяійса! даїа. 


Стаття надійшла до редакції 15.04.2010. 
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